L'hôpital, fondé en 1601 par les frères de Saint-Jean-de-Dieu, doit son existence à Marie de Médicis, qui fait appel à cette communauté florentine pour soigner les indigents.
Installé initialement près du port de Malaquest [Malaquais], l'hôpital s'établit définitivement le 4 septembre 1608, sur l'ordre de la reine Margot, sur un terrain où s'élève l'hôtel de Sansac situé près de l'ancienne chapelle des Saints-Pères : il ouvre sous le nom de Saint-Jean-Baptiste de la Charité. Les frères, propriétaires et maîtres exclusifs des lieux jusqu'en 1789, assurent le service de l'hôpital. En effet, leur règlement leur impose d'être chirurgiens et pharmaciens et de soigner eux-mêmes les malades. En 1786, l'établissement compte 208 lits réservés exclusivement à une population masculine ne souffrant pas d'affections incurables ou vénériennes. Son ouverture aux femmes s'opère en 1791.
Deuxième hôpital de Paris après l'Hôtel-Dieu, la Charité se distingue comme un modèle sur les plans de l'hygiène, du confort, des soins thérapeutiques et s'illustre en fondant dans ses locaux la première clinique médicale de France.
Pendant la Révolution, l'hôpital de la Charité continue à fonctionner sous le nom d'hospice de l'Unité. Confisqué aux religieux, sa direction revient par l'arrêté du 11 avril 1791 à une commission de cinq membres. Néanmoins, les frères y assurent les soins jusqu'à leur départ en 1801. Agrandi en 1791 sous la conduite de l'architecte Antoine, puis en 1841-1845, l'établissement accroît ses capacités d'accueil : il gère 235 lits en 1810, 341 lits en 1830 et 486 lits en 1850.
Au moment de sa fermeture définitive le 6 avril 1935, il abrite encore 680 lits. Sa démolition presque intégrale débute les mois suivants et s'achève véritablement en 1937 avec les travaux d'édification de la nouvelle École pratique de médecine de la Faculté de Paris.
